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摘 要 本 研究 探讨 了 歌词 对 音乐 情绪 加 工 的 影响 。 实验 1 使 用 情感 启动 范式 , 带 有 歌词 与 
无 歌词 音乐 片段 为 启动 刺激 , 与 音乐 情绪 一 致 或 不 一 致 的 面孔 图 片 为 目标 刺激 ,被 试 任务 是 
既 快 又 准确 地 判断 目标 面孔 的 情绪 。 结 果 显 示 , 无 论 音乐 是 否 带 有 歌词 , 听 者 在 一 致 条 件 下 
的 反应 都 比 不 一 致 条 件 更 快 更 准确 , 这 表明 听 者 能 加 工 音乐 传达 的 情绪 信息 。 实 验 2 进一步 
通过 电 生 理 手 段 探讨 歌词 影响 音乐 情绪 加 工 的 神经 机 制 。 研究 结果 显示 ,尽管 听 者 对 带 有 歌 
词 和 无 歌词 音乐 情绪 的 加 工 都 产生 了 启动 效应 , 但 是 无 歌词 音乐 条 件 在 250~450 ms 时 间 窗 
口 产 生 了 N400 效应 , 而 带 有 歌词 音乐 条 件 在 500~700 ms 时 间 窗 口 诱发 了 LPC 效应 , 该 结果 
表明 ,歌词 影响 了 大 脑 加 工 音 乐 情绪 的 时 间 进 程 。 本 研究 结果 将 在 一 定 程度 上 为 音乐 与 语言 
关系 的 探究 提供 依据 。 
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分 类 号 B842 
1 前 言 


音乐 和 语言 是 人 类 社会 独 有 的 , 属于 人 类 交流 的 两 种 重要 手段 。 早 在 1871 年 , Darwin 
就 提出 了 原始 母语 (protolanguage) 假 说 ， 认 为 语言 和 音乐 可 能 有 相同 的 起 源 。 对 于 远古 人 类 
来 说 ,语言 和 音乐 的 主要 功能 可 能 在 于 情绪 表达 (Thompson, Marin, & Stewart, 2012)。 随 着 人 
类 社会 化 程度 的 提高 ,语言 和 音乐 逐渐 分 化 ,并 朝 着 不 同 的 进化 方向 发 展 (Mithen, 2006; 
Perlovsky, 2011)。 语 言 发 展 成 为 具有 明确 语义 的 符号 交流 系统 ,音乐 则 成 为 情绪 表达 的 重要 
手段 (Jackendoff, 2009). 

音乐 可 能 先 于 语言 产生 ,在 语言 形成 之 前 ， 人 类 可 能 就 能 够 通过 类 似 普 乐 的 方式 进行 交 
流 (Darwin, 1871; Levman, 1992). AbA, 具有 明确 语义 的 语言 信息 是 否 有 助 于 音乐 的 情绪 表 


M? 或 者 说 , 音乐 作为 一 种 独立 的 交流 手段 ,其 情绪 表现 并 不 依赖 于 语义 信息 , 语义 信息 反 
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影响 其 情绪 表现 ? 歌曲 包含 歌词 和 旋律 , 兼 具 语 言 和 音乐 的 特征 。 在 音乐 作品 中 , 演唱 者 
可 以 仅 呈现 歌曲 的 旋律 (比如 ,以 无 意义 音节 “la” 演 唱 ),， 也 可 以 同时 呈现 旋律 与 歌词 。 因 此 ,， 
已 有 很 多 研究 从 歌曲 入 手 , 试图 揭示 具有 明确 语义 的 语言 信息 对 音乐 情绪 加 工 的 影响 , 该 研 
究 问 题 将 有 助 于 阐明 语言 与 音乐 在 情绪 加 工 方 面 的 关系 。 

已 有 研究 主要 从 行为 层面 对 此 进行 了 探讨 。 研究 表明 ,歌词 的 确 影响 了 听 者 对 音乐 情绪 


的 加 工 (Ali & Peynircioglu, 2006; Mori & Iwanaga, 2013; Stratton & Zalanowski, 1994). 比如， 


Stratton 和 Zalanowski (1994) LAaK HH (why I was born》 为 实验 材料 , 产生 了 纯 歌 词 、 纯 音乐 
以 及 歌词 加 钢琴 伴奏 三 种 版 本 的 刺激 。 实 验 中 要 求 听 者 评价 刺激 的 愉悦 度 ， 并 通过 量 表 测 量 
听 者 在 实验 前 后 的 情绪 变化 。 结 果 表 明 , 听 者 对 无 歌词 版 本 的 音乐 愉悦 度 评价 显著 高 于 带 有 
歌词 的 两 个 版 本 。 无 歌词 音乐 使 得 听 者 的 负 性 情绪 减少 ,下 性 情绪 增强 。 然 而 ， 当 歌词 呈现 
时 ,结果 呈现 出 完全 相反 的 趋势 : 听 者 的 负 性 情绪 增强 而 正 性 情绪 减弱 。 该 结果 表明 , 无 论 
歌词 是 独立 呈现 , 还 是 伴随 旋律 呈现 都 能 影响 听 者 对 音乐 的 情绪 加 工 。 歌词 对 音乐 情绪 加 工 
J 影响 也 得 到 了 计算 机 算法 研究 的 证 实 。 研究 发 现 , 算法 中 是 否 包含 歌词 信息 


会 
对 音乐 情绪 自动 分 类 的 准确 率 (Laurier, Lartillot, Eerola, & Toiviainen, 2008) 及 击 中 率 (Hu， 


Ne 


Downie, & Ehmann, 2009). 

然而 ， 也 有 研究 发 现 , 无 论 歌词 的 表现 形式 是 说 出 来 还 是 唱 出 来 , 听 者 在 聆听 带 有 歌词 
音乐 前 后 的 情绪 体验 并 没有 发 生 非 常 显著 的 改变 (Galizio & Hendrick, 1972). 类 似 地 ,通过 测 
量 听 者 聆听 音乐 前 后 的 心境 变化 , Sousou (1997) 发 现 ,歌词 并 不 影响 听 者 对 音乐 的 情绪 体验 。 
已 有 研究 结果 之 间 的 差异 可 能 来 源 于 两 个 方面 。 一 方面 是 实验 中 对 比 条 件 的 设置 存在 差异 。 
具体 来 说 , Galizio 和 Hendrick (1972) 与 Sousou (1997) 的 研究 并 未 设置 无 歌词 的 对 比 条 件 ， 而 


另 一 些 研 究 (Ali & Peynircioglu, 2006; Brattico et al., 2011; Stratton & Zalanowski, 1994) 均 设置 
了 无 歌词 条 件 。 另 一 方面 可 能 在 于 , 研究 者 没有 使 用 客观 的 指标 量化 听 者 对 音乐 情绪 的 加 工 。 
在 以 上 研究 中 , 研究 者 大 都 使 用 了 主观 评定 的 方法 。 比 如 , Stratton 和 Zalanowski (1994) 使 用 
多 元 情感 形容 词 检 核 表 修订 版 (Multiple Affect Adjective Check List-R)， 而 Sousou (1997) 与 
Mori 和 Iwanaga (2013) 则 使 用 自 编 的 等 级 评定 条 目 ; 同时 , 各 研究 的 评定 内 容 从 愉悦 度 
(Stratton & Zalanowski, 1994; Mori & Iwanaga, 2013) 到 强度 (Ali & Peynircioglu, 2006) 也 不 尽 
相同 。 这 些 都 导致 了 已 有 研究 结果 之 间 对 比 的 困难 。 

基于 此 ,本 研究 试图 在 行为 研究 的 基础 上 , 通过 电 生 理 手段 探究 歌词 对 音乐 情绪 加 工 的 
影响 。 实验 1 通过 认 知 行为 方法 考察 听 者 能 否 加 工 有 /无 歌词 音乐 所 传达 的 情绪 。 如果 实验 1 


发 现 , 无 论 音乐 是 否 带 有 歌词 听 者 都 能 加 工 其 情绪 ,实验 2 则 进一步 通过 电 生 理 手段 考察 
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大 脑 加 工 这 两 类 音乐 所 传递 的 情绪 是 否 存在 差异 。 两 个 实验 均 采 用 情感 启动 范式 ， 音 乐 刺激 
都 是 120 条 由 声乐 家 演唱 的 音乐 片段 ， 形 成 两 种 条 件 : 带 有 歌词 条 件 ， 即 演唱 中 文 歌词 ; 无 
歌词 条 件 ， 即 以 无 意义 音节 “la” 演 唱 。 这 两 种 条 件 的 音乐 刺激 都 作为 启动 刺激 ,与 音乐 情绪 
效 价 一 致 或 不 一 致 的 面孔 图 片 作 为 目标 刺激 。 如 果 音 乐 能 够 启动 听 者 对 情绪 面孔 的 加 工 ， 则 
意味 着 听 者 能 加 工 音乐 所 传达 的 情绪 信息 。 如 果 带 有 歌词 条 件 下 的 音乐 情绪 加 工 模式 与 无 歌 
词 条 件 下 存在 差异 , 则 意味 着 歌词 对 音乐 情绪 加 工具 有 影响 。 


2 实验 1: 歌词 影响 音乐 情绪 加 工 的 行为 研究 


实验 1 从 行为 层面 上 探讨 听 者 能 否 加 工 带 有 歌词 与 无 歌词 音乐 的 情绪 信息 。 为 了 排除 熟 


ja 悉 性 的 影响 ,本 实验 的 音乐 刺激 均 选 自 欧 洲 歌剧 片段 。 这 是 因为 ,本 研究 所 招募 的 被 试 均 是 
co 未 受过 专业 音乐 训练 的 普通 大 学 生 。 对 中 国 大 学 生 而 言 ,他 们 日 常 主要 聆听 流行 音乐 ， 较 少 
= 主动 接触 欧洲 歌剧 。 此 外 , 为 排除 音色 的 影响 , 本 实验 的 音乐 刺激 均 由 人 声 演 唱 。 在 无 歌词 
= 版 本 中 , 演唱 者 以 无 意义 音节 “la” 演 唱 ; 在 带 有 歌词 版 本 中 , 演唱 者 以 中 文 歌词 (公开 出 版 的 
= 中 译本 ) 演 唱 。 为 了 确保 两 个 演唱 版 本 的 有 效 性 , 我 们 实施 了 3 个 前 测 (具体 内 容 见 下 文 刺激 


与 程序 部 分 )。 如 果 带 有 歌词 和 无 歌词 音乐 都 能 启动 听 者 对 情绪 面孔 的 加 工 ,那么 ,说 明 听 者 
能 够 加 工 这 两 种 音乐 所 传达 的 情绪 信息 。 


2.1 方法 
2.1.1 被 试 


40 名 未 接受 专业 音乐 训练 的 普通 大 学 生 自愿 参加 了 本 实验 .所 有 被 试 均 为 右 利 手 ， 听力 
正常 , 视力 或 矫正 视力 正常 , 无 神经 或 精神 方面 的 病史 ， 且 在 实验 前 签署 了 知情 同意 书 。 因 
为 错误 理解 指导 语 , 8 名 被 试 的 数据 被 剔除 。 最 终 剩余 32 名 有 效 被 试 (24.47 土 1.65 岁 , 15 男 )。 
2.1.2 ”刺激 与 程序 

120 条 原始 音乐 刺激 均 选 自 欧洲 歌剧 片段 ， 表 达 高 兴 与 悲伤 情绪 的 音乐 各 半 。 上 所 有 音乐 
刺激 均 由 一 名 声乐 表演 者 (接受 过 18 年 专业 的 美声 歌唱 训练 ) 录 制 。 每 一 原始 音乐 片断 均 用 
中 文 歌词 及 无 意义 音节 “la” 演 唱 ,分 别 形成 带 有 歌词 和 无 歌词 音乐 两 个 版 本 。 音 乐 录制 前 ， 
要 求 该 声乐 表演 者 仔细 其 酌 每 一 音乐 片段 的 表演 方式 , 力求 两 个 版 本 在 力度 ( 即 表演 者 对 音 
响 强 弱 变 化 的 处 理 方式 )、 弹性 速度 (rubato， 即 表演 者 在 一 定 范围 内 对 速度 自由 变化 的 把 握 )、 
分 句 ( 即 乐句 的 断 句 或 演唱 的 呼吸 口 ) 及 整体 表演 水 平 ( 即 音 响 整 体质 量 的 好 坏 ) 上 的 一 致 性 。 


录制 后 的 音乐 统一 使 用 Adobe Audition CS6(Adobe Systems Inc) 和 Goldwave 剪辑 处 理 。 音 乐 


= 
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均 标 准 化 为 -7 dB， 同 时 淡出 1 s。 
为 了 确保 实验 材料 的 有 效 性 ， 本 实验 实施 了 三 个 前 测 。 
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刺激 平均 时 长 17 s (范围 : 10~25 s)， 皆 为 单 频道 ,采样 率 22.050 kHz, 16 位 分 辨 率 , 平均 响 度 


第 一 个 前 测 是 为 了 保证 两 个 版 本 


的 音乐 刺激 在 表演 水 平和 表演 方式 上 不 存在 显著 差异 。 招募 16 名 音乐 专业 的 大 学 生 ( 均 接受 


了 18 年 专业 音乐 训练 ) 要 求 其 评定 带 有 歌词 与 无 歌词 音乐 在 弹性 速度 力度 , 分 句 处 理 方 
式 以 及 总 体 表 演 水 平 上 的 一 致 性 (1 = 非常 不 同 ,4 = 不 确定 ,7= 非常 相同 )。 只 有 平均 分 高 
于 4 的 音乐 刺激 才 被 采用 。 第 二 个 前 测 是 为 了 确保 听 者 能 听 清 带 有 歌词 音乐 中 的 歌词 内 容 。 


招募 16 名 不 参与 正式 实验 的 普通 大 学 生 , 要 求 其 评定 音乐 中 歌词 的 清晰 度 (1 = 不 清楚 , 3 = 
不 确定 , 5 = 清楚 )。 只 有 平均 分 高 于 4 的 音乐 刺激 才 被 采用 。 经 过 两 个 前 测 的 筛选 ， 带 有 歌 
词 与 无 歌词 音乐 刺激 中 各 有 80 条 符合 要 求 。 第 三 个 前 测 是 为 了 确保 启动 音乐 和 目标 面孔 在 
情绪 效 价 上 的 关系 是 一 致 或 不 一 致 MCP RSL AA ASC) GE, 黄 宇 霞 ， 王 妍 ， 罗 


跃 嘉 , 2011) 中 选取 悲伤 和 高 兴 面孔 各 80 张 ， 作 为 潜在 的 目 


标 刺 激 ， 面 孔 性 别 男女 对 半 。 通 过 


Adobe Photoshop CS 调整 面孔 图 片 像素 为 102 x 768, 16 位 分 辨 率 。160 条 音乐 刺激 均 呈 现 两 
次 ,分 别 和 情绪 一 致 及 情绪 不 一 致 的 面孔 匹配 ,形成 320 对 音乐 -面孔 配对 。 招 募 16 名 不 参 
加 正式 实验 的 普通 大 学 生 ， 要 求 其 评定 音乐 -面孔 配对 的 一 致 性 (1 = 非常 不 一 致 , 5 = 不 确 
定 , 9= 非常 一 致 )。 得 分 高 于 7 的 配对 视 作 情绪 一 致 的 刺激 ,得 分 低 于 3 的 配对 视 作 情绪 不 
一 致 的 刺激 。 最 终 带 有 歌词 音乐 和 无 歌词 音乐 启动 条 件 下 各 有 60 条 刺激 符合 标准 , 形成 4 


种 条 件 : 带 有 歌词 音乐 -图 片 一 致 、 带 有 歌词 音乐 -图 片 不 
及 无 歌词 音乐 -图 片 不 一 致 ( 详 见 图 1), 每 个 实验 条 件 各 有 


选 音乐 -面孔 对 的 情绪 一 致 性 评定 结果 进行 (一致 性 : 一 致 ， 不 一 致 x 2( 歌 词 : 带 有 歌词 音 


一 致 、 无 歌词 音乐 -图 片 一 致 ， 以 


60 个 配对 。 进 一 步 对 正式 实验 所 


乐 , 无 歌词 音乐 ) 重 复 测量 方差 分 析 , 结果 表明 , 一 致 性 主 效应 显著 , F(1, 59) = 2318.45, p < 


0.001, np?= 0.98. 无 论 带 有 歌词 音乐 (一 致 : M= 7.37, SD = 0.53; 不 一 致 : M = 2.70, SD = 0.57), 


还 是 无 歌词 音乐 (一 致 : M = 7.33, SD = 0.55; 不 一 致 : M = 2.66, SD = 0.56), 听 者 对 一 致 的 评 


定 均 显著 高 于 不 一 致 。 其 它 效应 均 不 显著 (ps > 0.09). Hh 
带 有 歌词 ,情绪 一 致 与 不 一 致 条 件 均 存 在 差异 。 此 外 , 通过 


究 结 果 表 明 , 无 论 音乐 刺激 是 否 


前 测 3 筛选 出 的 最 终 的 60 个 带 有 


歌词 的 音乐 刺激 中 , 歌词 的 清晰 度 平均 得 分 为 4.42 (SD = 0.23); 带 有 歌词 音乐 与 无 歌词 音乐 
在 表情 因素 方面 的 处 理 方式 以 及 总 体 表 演 水 平 的 一 致 性 得 分 如 下 : 弹性 速度 (5.44 + 0.48)、 


力度 (5.56 土 0.47)、 分 句 (5.56 土 0.47)、 总 体 表演 水 平 (5.52 + 0.44)。 
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目标 刺激 
(情绪 面孔 ) 


E poshi wl ‘wap spe o 


例 :珍重 再 见 片段 


图 1 器 通道 情感 启动 范式 。 启 动 刺激 为 带 有 歌词 或 无 歌词 音乐 片段 , 情绪 面孔 为 目标 刺激 


将 240 个 配对 以 拉丁 方 的 方式 分 配 到 2 套 刺 激 中 , 每 套 刺激 各 有 120 个 试 次 , 包含 4 个 
实验 条 件 , 每 个 被 试 只 需 完成 其 中 一 套 刺 激 。 刺 激 以 伪 随 机 的 方式 呈现 ， 相同 的 启动 或 目标 


刺激 之 间 至 少 间隔 8 个 试 次 。 在 实验 中 , 1000 ms 黑色 注视 点 消失 后 通过 飞利浦 头 戴 式 


SHM1900 耳机 播放 启动 音 乐 。 音 乐 播放 完毕 后 立即 呈现 情绪 面孔 图 片 。 被 试 的 任务 是 又 快 
又 准 地 判断 图 片 情绪 ， 高 兴 按 下 悲伤 按 J。 情 绪 类 型 (高 兴 / 碍 伤 ) 与 按键 (FJ 的 对 应 关系 在 被 
试 间 平衡 。 判 断 结 束 后 ， 按 空格 键 开始 下 一 个 试 次 。 正 式 实验 开始 前 ,提供 4 个 练习 试 次 以 


确保 被 试 熟悉 实验 流程 。 为 进一步 排除 熟悉 的 影响 ,正式 实验 结束 后 ， 要求 被 试 报告 实验 中 


音乐 片段 对 应 的 标题 。 如 果 被 试 能 报告 出 标题 中 一 个 以 上 的 关键 词 ， 表 明 被 试 熟悉 该 音乐 上 
段 。 在 该 实验 中 , 没有 被 试 能 报告 出 所 有 音乐 名 称 中 的 任何 一 个 关键 词 。 


2.2 ”结果 与 讨论 


图 2 显示 了 4 种 实验 条 件 下 的 平均 正确 率 (a) 和 反应 时 (b)。 在 正确 率 方面 , 2 歌词: 带 有 


歌词 音乐 , 无 歌词 音乐 ) x 2( 一 致 性 : 一 致 , 不一致) 重复 测量 方差 分 析 结 果 发 现 : 一 致 性 主 效 


应 显著 (F(1, 31)= 9.80, p = 0.004, mp2= 0.24), 表明 一 致 条 件 (M = 97.86%, SD = 2.74) 的 正确 率 


显著 高 于 不 一 致 条 件 (M = 94.71%, SD = 6.79); 歌词 主 效应 显著 (F(1, 31) = 7.64, p = 0.01, np?= 


0.20), 表明 无 歌词 音乐 条 件 


(M= 97.17%, SD = 4.03) 的 正确 率 显著 高 于 带 有 歌词 音乐 条 件 (MX 


= 95.40%, SD = 6.39), 交互 作用 不 显著 (p > 0.05)。 
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在 反应 时 方面 , 2( 歌 词 : 带 有 歌词 音乐 , 无 歌词 音乐 ) x 2( 一 致 性 : 一致, 不一致) 重复 测 


量 方差 分 析 结 果 表 明 : 一 致 性 主 效应 显著 (FU1, 31) = 14.38, p = 0.001, n= 0.32), 情绪 一 致 条 


件 下 的 反应 时 C = 1051.83 ms, SD = 389.35) 显 著 低 不 一 致 条 件 (M= 1166.45 ms, SD = 


503.22); 歌词 主 效应 显著 (F(1, 31) = 4.42, p = 0.04, n? = 0.13)， 带 有 歌词 音乐 条 件 下 的 反应 


时 (M = 1136.59 ms, SD = 486.83) 显 著 长 于 无 歌词 音乐 条 件 (M = 1081.69 ms, SD = 415.88)。 歌 


词 与 一 致 性 交互 作用 不 显著 (p > 0.05). 


反应 时 (ms) 


正确 率 (%) 


带 有 歌词 无 歌词 带 有 歌词 无 歌词 


一 致 国友 


图 2 每 种 实验 条 件 下 的 平均 正确 率 (a) 和 反应 时 (b), 误差 线 为 标准 误 


与 已 有 研究 的 行为 结果 一 致 (Goerlich, Witteman, Aleman, & Martens, 2011; Wang & Qin, 


2016; Zhang, Li, Gold, & Jiang, 2010), 该 实验 结果 也 表明 ， 相 对 于 情绪 不 一 致 条 件 ， 听 者 在 
情绪 一 致 条 件 下 的 反应 更 快 更 准 。 这 说 明 , 带 有 歌词 和 无 歌词 音乐 都 能 启动 听 者 对 情绪 面孔 
的 加 工 。 也 就 是 说 , 听 者 能 加 工 带 有 歌词 和 无 歌词 音乐 的 情绪 ,这 与 已 有 研究 结论 是 相同 的 


(Morton & Trehub, 2007). 


3 实验 2: 歌词 影响 音乐 情绪 加 工 的 ERP 研究 


实验 1 结果 表明 , 无 论 是 否 带 有 歌词 听 者 都 能 够 加 工 音乐 的 情绪 信息 。 由 于 行为 实验 
无 法 反映 出 大 脑 加 工 音乐 情绪 在 时 间 进 程 上 的 动态 变化 , 因此 ,实验 2 试图 通过 电 生 理 手段 
进一步 探究 歌词 影响 音乐 情绪 加 工 的 神经 机 制 。 在 已 有 研究 中 , 仅 有 一 个 研究 借助 功能 核磁 


共振 成 像 ([MRD) 技 术 探 讨 了 歌词 影响 音乐 情绪 加 工 的 神经 机 制 , 遗憾 的 是 , 研究 者 使 用 的 是 
带 有 歌词 的 声乐 曲 和 无 歌词 的 器 乐曲 ， 无 法 排除 音色 在 音乐 情绪 加 工 中 的 作用 (Brattico et al, 


2011)。 的 确 , 众多 研究 表明 ,音色 对 音乐 情绪 加 工具 有 重要 的 影响 (Behrens & Green, 1993; 


bal 
oy 


Hailstone et al., 2009; Franco, Chew, & Swaine, 2017). WA, 控制 音色 之 后 , 歌词 是 否 影响 听 
者 对 音乐 情绪 的 神经 加 工 ? 这 是 本 实验 要 探究 的 问题 。 

先前 使 用 情感 启动 范式 的 研究 主要 关注 N400 与 晚期 正成 分 (late positive component, 
LPC)。 研 究 表明 ,情绪 不 一 致 条 件 比 一 致 条 件 诱发 了 更 大 的 N400, 该 成 分 反映 了 大 脑 对 情 


绪 冲 突 的 检测 (Schirmer, Kotz, & Friederici, 2002; Zhang, Lawson, Guo, & Jiang, 2006) 以 及 对 


情绪 信息 的 整合 加 工 (Kamiyama, Abla, Iwanaga, & Okanoya, 2013; Zhang et al., 2010)。 类 似 地 ， 


情绪 不 一 致 条 件 诱 发 的 LPC 比 情 绪 一 致 条 件 更 大 (Herring, Taylor, White, & Crites, 2011; 


Werheid, Alpay, Jentzsch, & Sommer, 2005; Zhang et al., 2010), 表明 大 脑 对 情绪 不 一 人 致 条 件 的 


加 工 需 要 更 多 的 注意 参与 (Zhang, Kong, & Jiang, 2012; Zhang et al, 2010)。 鉴 于 实验 1 和 已 有 
行为 研究 (Morton & Trehub, 2007) 均 表明 , 听 者 对 带 有 歌词 音乐 和 无 歌词 音乐 所 传达 的 情绪 
言 息 都 能 进行 加 工 ， 同 时 ， 歌 词 会 影响 听 者 对 音乐 情绪 的 加 工 (Ali & Peynircioglu, 2006; 
Stratton & Zalanowski, 1994) 。 我 们 预期 , 听 者 对 带 有 歌词 音乐 和 无 歌词 音乐 情绪 信息 的 加 工 
都 会 产生 启动 效应 ,也 就 是 N400 或 LPC 效应 。 但 是 ， 有 歌词 音乐 和 无 歌词 音乐 启动 条 件 下 


所 产生 的 启动 效应 可 能 存在 差异 。 


3.1 方法 
3.1.1 被 试 


被 试 是 20 名 没有 受过 专业 音乐 训练 的 普通 大 学 生 , 4 名 被 试 因 脑 电 伪 迹 过 多 被 剔除 ， 
效 被 试 为 16 名 (23.88 + 1.36 岁 , 7 男 )。 所 有 被 试 均 为 右 利 手 , 听力 正常 , 视力 或 矫正 视力 正 
常 ,无 精神 病史 , 无 大 脑 损 伤 。 所 有 被 试 均 签署 了 知情 同意 书 ， 并 在 实验 结束 后 获得 一 定 的 
报酬 。 

3.1.2 ”刺激 与 程序 

刺激 材料 与 实验 1 相同 。 为 避免 被 试 立即 做 出 按键 的 行为 反应 可 能 会 干扰 脑 电 数据 ， 实 
验 2 在 程序 上 与 实验 1 略 有 不 同 。 在 实验 2 中 , 音乐 播放 完毕 后 呈现 的 情绪 面孔 图 片 不 是 按 
键 消失 , 而 是 固定 的 1000 ms。 事 件 相关 脑 电 的 标记 打 在 情绪 面孔 呈现 的 时 间 点 上 。 在 面孔 
消失 后 立即 出 现 反 应 界面 要 求 被 试 判断 音乐 与 面孔 所 表达 的 情绪 是 否 一 致 ,一 致 按 F 不 一 
BK I. 一 致 性 (一 致 /不 一 致 ) 与 按键 (F/ 站 的 对 应 关系 在 被 试 间 平衡 。 反 应 时 间 没 有 限定 , 判 
断 结束 后 , 按 空格 键 开始 下 一 个 试 次 。 正 式 实验 开始 前 , 被 试 完成 6 个 练习 刺激 以 熟悉 实验 
流程 。 与 实验 1 相同 , 为 进一步 排除 熟悉 度 可 能 对 实验 造成 的 干扰 , 在 正式 实验 结束 后 ,要 
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求 被 试 报告 实验 中 音乐 片段 的 标题 。 在 该 实验 中 , 没有 被 试 能 报告 出 所 有 音乐 标题 中 的 任何 
一 个 关键 词 。 
3.1.3” 脑 电 记录 与 数据 分 析 

采用 Biosemi 64 导 Active Two 电极 帽 , 在 2048 Hz 采样 率 下 记录 EEG 信和 号。 外 接 电 极 


分 别 放置 于 左 、 右 外 眼角 处 及 左 眼 上 、 下 以 分 别 记录 水 平 眼 电 和 垂直 眼 电 。 脑 电 采 集中 控 
制 电极 与 头皮 接触 的 电阻 在 20 ko 以 下 。 离 线 分 析 时 ,将 参考 转 为 双 侧 乳 突 平均 参考 ,进行 
0.1~30 Hz (24 dB/ocb 带 通 滤波 ,并 通过 BESA 分 析 软 件 自动 矫正 眼 电 伪 迹 。 分 段 为 目标 刺 
激 呈 现 前 200 ms 到 目标 刺激 呈现 后 1000 ms， 基 线 为 目标 刺激 出 现 前 的 200 ms I TAI BS. ff 
除 波幅 变化 超过 +120 pV 及 反应 错误 的 试 次 。 

根据 半球 和 区 域 , 我 们 选取 9 个 感 兴趣 区 (interest of region, ROD 的 电极 点 (左前 :FP1， 


= 


AF3, F3, F5, F7; 中 前 : FPz, AFz, Fz; 右前 : FP2, AF4, F4, F6, F8; 左 中 : Cl, CP1, FC3, C3, 


CP3; 中 中 : FCz, Cz, CPz; 4: C2, CP2, FC4, C4, CP4; 左 后 : P3, P5, PO3, PO7, O1; 中 


后 : Pz, POz, Oz; 右 后 : P4, P6, PO4, PO8, 02) 分 别 进行 中 线 和 两 侧 的 重复 测量 方差 分 析 。 
就 中 线 电 极点 而 言 , 一 致 性 (一 致 ， 不一致), 歌词 ( 带 有 歌词 音乐 , 无 歌词 音乐 ) 和 脑 区 (前 ， 
H, 后) 为 被 试 内 因素 。 两 侧 分 析 在 中 线 分析 的 基础 上 增加 了 半球 ( 左 , 右 ) 作 为 被 试 内 因素 。 
计算 每 个 兴趣 区 内 所 有 电极 点 的 平均 值 并 做 进一步 分 析 。 本 研究 只 报告 显著 或 边缘 显著 
的 主要 实验 变量 (歌词 , 一 致 性 ) 的 统计 结果 。 交 互 作用 显著 后 进行 简单 效应 分 析 , 所 有 的 
成 对 比较 均 使 用 Bonferroni correction 矫正 。 球 形 假设 不 成 立时 , 使 用 Greenhouse-Geisser 


矫正 p 值 。 
= 3.2 ”结果 与 讨论 
3.2.1 行为 结果 
以 正确 率 为 因 变量 ,进行 2( 歌 词 : 带 有 歌词 音乐 , 无 歌词 音乐 ) x 2( 一 致 性 :一 致 ， 不 
致 ) 的 重复 测量 方差 分 析 , 结果 没有 发 现任 何 显著 的 效应 (ps > 0.05)。 带 有 歌词 条 件 下 的 正确 
A 85.83%, 无 歌词 条 件 下 的 正确 率 为 83.02%， 这 表明 , 无 论 是 带 有 歌词 条 件 还 是 无 歌词 
条 件 , 听 者 都 能 认真 完成 实验 任务 。 
3.2.2 ABAR 
图 3 呈现 了 无 歌词 (a) 与 带 有 歌词 (b) 音 乐 启动 条 件 下 产生 的 ERP 波形 图 。 图 4 呈现 的 是 
在 250~450 ms (a) 和 500~700 ms (b) 时 间 窗 口内 无 歌词 与 带 有 歌词 音乐 条 件 下 的 差异 波 ( 情 绪 
不 一 致 减 情 绪 一 致 ) 地 形 图 ,基于 图 形 观 察 ,以 及 已 有 情感 启动 范式 下 锁定 N400 (Daltrozzo & 


Schon, 2009; Kamiyama et al., 2013) 和 LPC (Herring et al., 2011; Werheid et al., 2005; Zhang et 


=] 


cH 


al., 2010) 的 研究 , 我 们 将 目标 刺激 出 
的 时 间 窗 。 
以 N400 平均 波幅 为 因 变 量 ， 分 兄 


J 


— 
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后 的 250~450 ms Æ 500~700 ms 分 别 作为 N400 和 LPC 


进行 中 线 和 两 侧 的 分 析 。 在 中 线 分 析 中 , 2( 歌 词 : 带 有 


歌词 音乐 , 无 歌词 音乐 ) x 2( 一 致 性 : 一 致 , 不 一 致 ) x 3( 脑 区 : 前 ， 中 , 后) 三 因素 重复 测量 


方 


差分 析 发 现 ， 歌 词 与 一 致 性 交互 作用 显著 , F(1, 15) = 8.48, p = 0.01, np? = 0.36。 简 单 效应 分 析 


表明 , 在 无 歌词 音乐 启动 下 ,情绪 不 一 致 条 件 比 一 致 条 件 诱 发 了 更 大 的 N400 波 幅 , FL, 15)= 


5.17, p = 0.04, np? = 0.26。 然 而 , 在 带 有 歌词 音乐 启动 下 , 情绪 一 致 与 不 一 致 条 件 诱发 的 N400 
11。 在 两 侧 分 析 中 , 2( 歌 词 : 带 有 歌词 音乐 , 无 歌 


波幅 不 存在 显著 差异 , F(1, 15)= 2.90,p=0. 
音乐 ) x 2( 一 致 性 : 一 致 , 不一致) x 3( 


要 
= 


ii 


Ši X: 


前 ， 中 ， 后 ) x 2( 半 球 : 左 , 右 ) 四 因素 重复 测量 


方差 分 析 发 现 ,歌词 与 一 致 性 的 交互 作用 显著 , FC, 15)= 7.80, p = 0.02, np? = 0.34。 简 单 效应 
分 析 表 明 , 在 无 歌词 音乐 启动 下 ,情绪 不 一 致 条 件 比 一 致 条 件 诱发 了 更 大 的 N400 波幅 , FC, 
15)= 6.81, p = 0.02, np? = 0.31。 然 而 , 在 带 有 歌词 音乐 启动 下 , 情绪 一 致 与 不 一 致 条 件 诱发 的 


N400 波幅 不 存在 显著 差异 , F, 15)= 2.18,p = 0.16。 在 中 线 和 两 侧 分 析 


致 性 有 关 的 效应 均 不 显著 (ps > 0.35)。 


四 


其 它 与 歌词 或 一 


类 似 地 ， 以 LPC 平均 波幅 为 因 变量 ， 分 别 进行 中 线 和 两 侧 的 分 析 。 在 中 线 分 析 中 , 2( 歌 


词 : 带 有 歌词 音乐 , 无 歌词 音乐 ) x 2A 
复议 


= 


效应 分 析 表 明 , 在 带 有 歌词 音乐 启动 下 ,情绪 不 一 致 条 件 比 一 致 条 伯 
ii, FC, 15) = 6.90, p = 0.02, n? = 0.32。 在 无 歌词 音乐 启动 下 , 情绪 不 一 致 条 件 与 一 致 条 件 诱 


E: 一 致 ， 不 一 致 ) x 3( 脑 区 : 前 ， 


中 ， 后 ) 三 因素 重 
量 方差 分 析 表 明 , 歌词 与 一 致 性 交互 作用 显著 , F, 15) = 7.47, p = 0.02, np? = 0.33。 简 单 
诱发 了 更 大 的 LPC 波 


发 的 LPC 波幅 不 存在 显著 差异 , F(1, 15) = 0.78, p= 0.39。 在 两 侧 分 析 中 , 2( 歌 词 : 带 有 歌词 音 
乐 , 无 歌词 音乐 ) x 2( 一 致 性 : 一 致 ， 不 一 致 ) x 3( 脑 区 : 前 ， 中 ， 后 ) x 2( 半 球 : 左 , 右 ) 四 因素 


重复 测量 方差 分 析 发 现 ， 歌词 与 一 致 性 交互 作用 显著 , FL, 15)= 6.20, p = 0.03, np? = 0.29。 简 


单 效应 分 析 表 明 , 在 带 有 歌词 音乐 启动 下 ， 


情绪 不 一 致 条 件 比 一 致 条 件 诱发 了 更 大 的 LPC, 


F(1, 15)= 5.17, p = 0.04, np? = 0.26。 在 无 歌词 音乐 启动 下 ,情绪 不 一 致 条 件 与 一 致 条 件 诱发 的 
LPC 波幅 不 存在 显著 差异 , F(1, 15)= 0.82, p= 0.38。 中 线 和 两 侧 分 析 中 没有 其 它 与 歌词 或 一 


致 性 有 关 的 显著 效应 (ps > 0.21)。 
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(b) 带 有 歌词 
F3 | Fz | F4 
CP4 | CP3 CPz CP4 
Tw -一 一 + 一 一 一 - 
PO4 PO3 POz PO4 
+ 一 一 4 L o 4 a 4 
LPC 
一 致 
不 一 致 


。 浅 灰 与 中 灰 阴 影 部 分 分 别 表 示 N400 与 LPC 的 时 间 窗 


(a) N400 时 间 窗 口 (b) LPC 时 间 窗 口 


无 歌词 


带 有 了 歌词 和 有 歌词 


图 4 带 有 歌词 与 无 歌词 在 250~450 ms (a) 及 500~700 ms (b) 时 间 窗 内 的 差异 波 地 形 图 


HE: 彩 图 见 电子 版 


实验 2 脑 电 结果 发 现 , 带 有 歌词 音乐 启动 条 件 下 在 250~450 ms 时 间 窗 口 诱发 了 N400 效 
DM, 无 歌词 音乐 启动 条 件 下 在 500~700 ms 时 间 窗 口 诱发 了 LPC 效应 。 该 结果 表明 , 无 论 音 


乐 是 否 带 有 歌词 , 听 者 均 能 对 启动 刺激 与 目标 刺激 之 间 的 情绪 关系 进行 判断 , 但 是 , 听 者 加 


工 带 有 歌词 与 无 歌词 音乐 情绪 存在 时 间 进 程 上 的 差异 。 也 就 是 说 ,， 听 者 对 带 有 歌词 音乐 情绪 
的 加 工 滞后 于 无 歌词 音乐 。 


hinay i AEH II 
INAAI Vo | F HH | lJ 


11 


4 综合 讨论 


W 


本 研究 通过 两 个 实验 探讨 歌词 影响 音乐 情绪 加 工 的 神经 机 制 。 行 为 结果 显示 , 无 论 音乐 
是 否 带 有 歌词 , 听 者 在 一 致 条 件 下 的 反应 都 比 不 一 致 条 件 更 快 更 准确 ,表明 无 论 音乐 是 否 带 
有 歌词 , 听 者 都 能 加 工 音乐 传达 的 情绪 信息 。ERP 结果 进一步 显示 ,尽管 听 者 对 带 有 歌词 与 
无 歌词 音乐 情绪 的 加 工 都 诱发 了 启动 效应 , 但 是 无 歌词 音乐 条 件 在 250-450 ms 时 间 窗 口 诱 
发 了 N400 效应, 而 带 有 歌词 音乐 条 件 在 500~700 ms 时 间 窗 口 诱发 了 LPC 效应 , 该 结果 表明 
歌词 影响 了 听 者 加 工 音 乐 情绪 的 时 间 进 程 ， 说 明 听 者 对 带 有 歌词 音乐 情绪 的 加 工 滞后 于 无 
歌词 音乐 。 

经 典 N400 通常 和 语义 加 工 有 关 , 不 一 致 的 语义 常常 比 一 致 诱发 更 大 的 N400 (Kutas & 


& 


Hillyard, 1980)， 该 成 分 体现 出 大 脑 对 概念 的 整合 加 工 (Brown & Hagoort, 1993; Kutas & 


Federmeier, 2000; Kutas & Federmeier, 2011) 。 近 年 研究 也 表明 , 在 情感 启动 范式 中 ,情绪 不 
一 致 的 条 件 比 情绪 一 致 的 条 件 诱发 了 更 大 的 N400(Schirmer et al., 2002; Zhang et al., 2010; 


Zhang et al., 2006), 表示 对 情绪 信息 的 整合 加 工 需 要 更 多 的 认 知 资源 (Kamiyama et al, 2013; 


Zhang et al, 2010)。 研 究 也 发 现 ， 当 启动 刺激 为 短小 音乐 片段 (Daltrozzo & Schön, 2009; 
Goerlich et al., 2011; Koelsch et al., 2004) +9 #5X(Steinbeis & Koelsch, 2011) 时 ,大 脑 也 能 对 不 
一 致 的 情绪 信息 诱发 更 大 波幅 的 N400。 本 研究 发 现 , 对 无 歌词 音乐 情绪 的 加 工 诱发 了 N400 
效应 ， 这 一 效应 的 产生 主要 源 于 情绪 意义 的 激活 (Daltrozzo & Schön, 2009; Eder, Leuthold, 
Rothermund, & Schweinberger, 2011)。 的 确 ， 启 动 刺激 的 出 现在 概念 水 平 上 预先 激活 了 与 上 
= 标 刺 激 有 关 的 情绪 表征 , 减少 了 情绪 一 致 条 件 下 的 N400 波幅 (Goerlich et al., 2012)。 相 比 情 
- 绪 一 致 条 件 , 在 情绪 不 一 致 条 件 下 ,由 于 与 目标 刺激 相关 的 情绪 表征 没有 被 提前 激活 ， 所 以 
听 者 对 无 歌词 音乐 情绪 信息 与 面孔 情绪 信息 的 整合 加 工 需 要 更 多 的 认 知 资源 ,体现 为 N400 
波幅 的 增 大 。 


与 以 往 使 用 情感 启动 范式 的 研究 一 致 (Herring et al., 2011; Wang & Qin, 2016; Werheid et 


al., 2005; Zhang et al., 2012; Zhang et al., 2010)， 本 研究 结果 也 表明 , 听 者 对 带 有 歌词 音乐 的 
情绪 加 工 诱发 了 LPC 效应 。 研 究 者 认为 , 情感 启动 范式 中 不 一 致 条 件 下 更 大 的 LPC 是 
更 多 的 注意 卷 入 所 致 (Herring et al., 2011; Werheid et al., 2005; Zhang et al., 2010)。 因 此 , 与 已 
有 研究 类 似 ,本 研究 的 LPC 可 能 反映 了 注意 资源 的 分 配 。 同 时 , 已 有 研究 (Juottonen, 
Revonsuo, & Lang, 1996) 发 现 , LPC 也 体现 出 整合 加 工 。 在 语言 与 音乐 的 记忆 研究 中 , 研究 者 


发 现 ， 当 语言 与 旋律 信息 同时 呈现 时 ， 听 者 是 将 其 整合 一 起 ， 作 为 一 个 整体 加 工 ， 而 不 是 分 
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开 加 工 (Serafine, Davidson, Crowder, & Repp, 1986). 在 本 研究 中 ， 当 音乐 带 有 歌词 时 , 听 者 需 
要 整合 旋律 与 歌词 ， 并 可 能 将 其 作为 一 个 整体 与 情绪 面孔 的 一 致 性 进行 匹配 ,由 此 诱发 了 
LPC 效应 。 然 而 ， 需 要 说 明 的 是 ， 尽 管 听 者 对 带 有 歌词 音乐 情绪 信息 的 加 工 滞后 于 无 歌词 音 
乐 (体现 为 LPC 效应 和 N400 效应 潜伏 期 的 差异 ), 但 启动 效应 的 出 现 意 味 着 听 者 能 正确 理解 
并 加 工 带 有 歌词 与 无 歌词 音乐 所 传达 的 情绪 信息 。 
作为 两 个 独立 的 脑 电 成 分 , 研究 者 普遍 认为 N400 与 LPC 代表 了 不 同 的 认 知 加 工 过 程 
(Ibáñez et al., 2010; Juottonen et al., 1996; Rohaut & Naccache, 2017)。 同 时 ,已 有 研究 表明 ， 听 
者 对 带 有 歌词 与 无 歌词 音乐 情绪 信息 的 加 工 可 能 涉及 不 同 的 神经 机 制 (Brattico et al., 2011). 
因此 , 虽然 本 研究 认为 N400 和 LPC 在 一 定 程度 上 均 反 映 了 整合 加 工 ,但 这 两 个 成 分 所 代表 
的 整合 加 工 应 当 存 在 一 定 差异 。 基 于 情绪 的 起 源 (origin), 情绪 双 模 型 理论 (emotion duality 
model) 认 为 ， 在 个 体 对 刺激 做 出 情绪 反应 的 过 程 中 ,存在 两 个 评价 机 制 ， 自 动 评价 系统 (the 


= 


automatic evaluating system) 和 反思 性 评价 系统 (the reflective evaluating system) (Jarymowicz & 
Imbir, 2015)。 反 思 性 反应 的 产生 需要 以 言语 为 基础 ,没有 言语 的 参与 则 无 法 产生 这 种 反应 
(Imbir, Spustek, & Zygierewicz, 2016)。 是 否 带 有 语言 信息 恰恰 是 本 研究 中 带 有 歌词 与 无 歌词 
音乐 的 差异 。 因 此, 带 有 歌词 音乐 启动 条 件 下 诱发 的 LPC 可 能 代表 了 一 种 反思 性 的 反应 ,而 
无 歌词 音乐 启动 条 件 诱发 的 N400 可 能 主要 是 一 种 反射 性 的 反应 。 也 就 是 说 ,本 文 的 LPC 可 
能 反映 的 是 一 种 反思 性 的 整合 加 工 , 而 N400 可 能 反映 的 是 一 种 相对 自动 化 的 整合 加 工 。 
通过 两 个 实验 , 本 研究 发 现 , 歌词 的 参与 导致 了 听 者 对 音乐 情绪 加 工 的 滞后 ， 该 结果 验 
证 了 音乐 哲学 的 观点 。 在 音乐 哲学 家 看 来 ,纯音 乐 (无 歌词 音乐 ) 在 传达 情绪 方面 比 带 有 歌词 
音乐 更 迅速 更 直接 (于 润 洋 , 2000; 张 前 , EVA, 1992), 这 是 因为 , 语言 通过 命题 系统 


(propositional system) 明确 地 传达 情绪 信息 (Erickson, 2005; Jankélévitch & Abbate, 2004)， 而 
纯音 乐 正 是 没有 类 似 语言 的 语义 , 使 其 在 传递 情绪 过 程 中 ,可 以 省 略 命 题 系统 中 的 翻译 
(translation) 过 程 ， 由 此 导致 纯音 乐 能 够 更 迅速 更 直接 地 传递 情绪 信息 。 

从 语言 与 音乐 情绪 加 工 的 关系 来 看 , 与 已 有 行为 研究 结果 一 致 (Ali & Peynircioglu, 2006; 
Mori & Iwanaga, 2013; Stratton & Zalanowski, 1994)， 本 研究 结果 表明 歌词 对 音乐 情绪 加 工具 
有 影响 。 应 该 指出 的 是 ,本 研究 是 通过 比较 有 /无 歌词 条 件 下 的 音乐 情绪 加 工 ， 探 究 歌词 的 影 
响 效 应 .尽管 本 研究 的 实验 设计 无 法 直接 回答 语言 与 音乐 在 情绪 加 工 方面 是 否 存在 交互 的 问 
题 , 但是， 本 研究 结果 暗示 了 语言 与 音乐 的 情绪 加 工 可 能 共享 特定 的 机 制 。 具 体 来 说 , 与 无 
歌词 条 件 不 同 , 带 有 歌词 音乐 条 件 诱发 了 LPC 效应, 该 LPC 效应 主要 缘 于 歌词 的 介入 。 就 


I 


cor 


i 


m} 


= 


带 有 歌词 的 条 件 而 言 ,歌词 与 旋律 是 同时 呈现 , 既然 歌词 影响 其 音乐 情绪 加 工 ， 则 上 暗示 了 语 


言 与 音乐 的 情绪 加 工 可 能 在 此 存在 交互 。 未 来 研究 需要 对 此 进行 进一步 验证 。 


5 结论 


本 研究 表明 , 无 论 是 否 带 有 歌词 ， 听 者 都 能 加 工 音乐 所 传达 的 情绪 信息 。 但 是 ,无 歌词 


音乐 条 件 在 250~450 ms 时 间 窗 口 诱发 了 N400 效应 , 而 带 有 歌词 音乐 条 件 在 500~700 ms 时 
间 窗 口 诱发 了 LPC 效应 ， 该 结果 表明 歌词 影响 了 大 脑 加 工 音 乐 情绪 的 时 间 进 程 ， 说 明 听 者 


对 带 有 歌词 音乐 情绪 的 加 工 澡 后 于 无 歌词 音乐 .本 研究 在 一 定 程度 上 为 音乐 与 语言 关系 的 探 
究 提 供 了 依据 。 
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Abstract 


Music and language are unique to the human beings. It has been suggested that music and 
language have a common origin as an emotional protolanguage. The development of socialisation 
has resulted in the development of language into a symbolic communication system with explicit 


semantics. By contrast, music has become an important means of emotional expression. However, 
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whether language with explicit semantics affects the emotional processing of music remains 
uncertain. Given that songs contain melody and lyrics, previous behavioural studies have focused 
on songs to analyse the influence of lyrics on the processing of musical emotion. However, several 
studies have also shown the influence of lyrics, although such findings are relatively 
contradictory. 

Thus, the current study used behavioural and electrophysiological measurements to 
investigate the impact of lyrics on the processing of musical emotion. Experiment 1 analysed 
whether the emotional connotations in music with and without lyrics could be perceived by 
listeners at the behavioural level. Experiment 2 further investigated whether there are different 
neural responses to emotions conveyed by melodies with and without lyrics. 

A cross-modal affective priming paradigm was used in Experiments 1 and 2, in which 
musical excerpts served as the prime and emotional faces as target. To avoidthe impact of 
familiarity, 120 musical stimuli were selected from European opera. Each was sung by a vocalist 
with and without lyrics, thereby resulting in 240 musical stimuli in two versions as potential prime 
stimuli. A total of 160 facial expressions affectively congruent or incongruent with the preceding 
musical stimuli were selected as potential target stimuli. Three pre-tests were conducted to ensure 
the validity of the stimuli. Eventually, 60 musical stimuli for each music version were selected as 
the prime stimuli, whilst 120 images were used as the target stimuli, thereby resulting in 240 
music—image pairs. To ensure that each stimulus appears only once for each participant, two lists 
were prepared using a Latin square design. Each prime and target was presented in either the 
congruent or incongruent condition within each list. Thus, each list comprised 120 trials, with 30 
trials in each condition. During the experiment, the two lists were equally distributed across the 
participants. A total of 40 healthy adults participated in Experiment 1. They were asked to judge 
as quickly and accurately as possible whether the emotion of the target was happy or sad. The 
accuracy and reaction time were collected. Meanwhile, 20 healthy adults participated in 
Experiment 2. They were required to judge whether the emotion between music and image was 
congruent or incongruent whilst their EEG waveforms were recorded. ERPs were analysed and 
compared between conditions at the time windows of 250~450 ms and 500~700 ms after the onset 


of the target. 
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The Experiment 1 results showed that when faces were primed by music either with or 
without lyrics, the participants responded faster and more accurately under affectively congruent 
condition compared with affectively incongruent condition. This finding indicated that the 
emotional connotations in music with and without lyrics could both be perceived. The ERP results 
in Experiment 2 showed that distinct neural mechanisms were activated by music with and 
without lyrics. Specifically, when faces were primed by music without lyrics, a larger N400 was 
elicited in response to affectively incongruent pairs than to affectively congruent pairs at the time 
window of 250~450 ms. However, when faces were primed by music with lyrics, a more positive 
LPC was observed in response to the affectively incongruent pairs than to the affectively 
congruent pairs at 500~700 ms. This finding confirms the results of Experiment 1, thereby 
suggesting that the emotion conveyed by music with and without lyrics could be perceived by the 
listeners. Moreover, the emotional processing between music with and without lyrics differs in the 
time course of neural processing. That is, the emotional processing of music with lyrics lagged 
behind that of music without lyrics. 

In conclusion, the present results suggest that the neural processing of emotional 
connotations in music without lyrics preceded that of music with lyrics, although the emotional 
connotations conveyed by music with and without lyrics could both be perceived. These findings 
also supported theory of musical philosophy, which suggests that music without lyrics can express 
emotion more immediately and more directly than music with lyrics owing to the lack of 
“translation” from the propositional system. On the other hand, considering that lyrics influenced 
the time course of emotional processing in music with lyrics, our results also provide evidence that 


the emotional processing of music and language may share neural resources to some extent. 
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